我们为最近发布的TripClick Health Ad-Hoc检索集收集提供了强大的变压器的重新排名和密集的检索基线。我们完善了 - 最初的训练数据，具有简单的负面抽样政策。在TripClick的重新排名任务中，我们在重新排名任务中获得了大幅提升，这是用原始基线实现的。此外，我们研究不同域特定的预训练模型在TripClick上的影响。最后，我们表明密集检索优于BM25，即使是简单的训练程序。
translated by 谷歌翻译
The need for data privacy and security -- enforced through increasingly strict data protection regulations -- renders the use of healthcare data for machine learning difficult. In particular, the transfer of data between different hospitals is often not permissible and thus cross-site pooling of data not an option. The Personal Health Train (PHT) paradigm proposed within the GO-FAIR initiative implements an 'algorithm to the data' paradigm that ensures that distributed data can be accessed for analysis without transferring any sensitive data. We present PHT-meDIC, a productively deployed open-source implementation of the PHT concept. Containerization allows us to easily deploy even complex data analysis pipelines (e.g, genomics, image analysis) across multiple sites in a secure and scalable manner. We discuss the underlying technological concepts, security models, and governance processes. The implementation has been successfully applied to distributed analyses of large-scale data, including applications of deep neural networks to medical image data.
translated by 谷歌翻译
In this paper, we present kogito, an open-source tool for generating commonsense inferences about situations described in text. kogito provides an intuitive and extensible interface to interact with natural language generation models that can be used for hypothesizing commonsense knowledge inference from a textual input. In particular, kogito offers several features for targeted, multi-granularity knowledge generation. These include a standardized API for training and evaluating knowledge models, and generating and filtering inferences from them. We also include helper functions for converting natural language texts into a format ingestible by knowledge models - intermediate pipeline stages such as knowledge head extraction from text, heuristic and model-based knowledge head-relation matching, and an ability to define and use custom knowledge relations. We make the code for kogito available at https://github.com/epfl-nlp/kogito along with thorough documentation at https://kogito.readthedocs.io.
translated by 谷歌翻译
恢复质量差的图像与一组混合伪影对于可靠的诊断起着至关重要的作用。现有的研究集中在特定的恢复问题上，例如图像过度，去核和暴露校正，通常对伪影类型和严重性有很强的假设。作为盲X射线恢复的先驱研究，我们提出了一个通用图像恢复和分类的联合模型：恢复分类为分类的生成对抗网络（R2C-GAN）。这种共同优化的模型使恢复后保持任何疾病完整。因此，由于X射线图像质量的提高，这自然会导致更高的诊断性能。为了实现这一关键目标，我们将恢复任务定义为图像到图像的翻译问题，从差异，模糊或暴露不足/暴露不足的图像到高质量的图像域。提出的R2C-GAN模型能够使用未配对的训练样本在两个域之间学习前进和逆变换。同时，联合分类在恢复过程中保留了疾病标签。此外，R2C-GAN配备了操作层/神经元，可降低网络深度，并进一步增强恢复和分类性能。拟议的联合模型对2019年冠状病毒病（COVID-19）分类的卡塔-COV19数据集进行了广泛的评估。拟议的恢复方法达到了90％以上的F1得分，这显着高于任何深层模型的性能。此外，在定性分析中，R2C-GAN的恢复性能得到了一群医生的批准。我们在https://github.com/meteahishali/r2c-gan上共享软件实施。
translated by 谷歌翻译
我们研究无数据知识蒸馏（KD）进行单眼深度估计（MDE），该网络通过在教师学生框架下从训练有素的专家模型中压缩，同时缺乏目标领域的培训数据，从而学习了一个轻巧的网络，以实现现实世界深度感知。 。由于密集回归和图像识别之间的本质差异，因此以前的无数据KD方法不适用于MDE。为了加强现实世界中的适用性，在本文中，我们试图使用分布式模拟图像应用KD。主要的挑战是i）缺乏有关原始培训数据的对象分布的先前信息； ii）领域在现实世界和模拟之间的转移。为了应对第一个难度，我们应用对象图像混合以生成新的训练样本，以最大程度地覆盖目标域中对象的分布模式。为了解决第二个困难，我们建议利用一个有效学习的转换网络，以将模拟数据拟合到教师模型的特征分布中。我们评估了各种深度估计模型和两个不同数据集的建议方法。结果，我们的方法优于基线KD的优势，甚至在$ 1/6 $的图像中获得的性能略高，表现出了明显的优势。
translated by 谷歌翻译
2022-06-06
联合学习（FL）启用了分布式系统中用户设备（客户端）上的最新自动语音识别（ASR）模型，从而阻止将原始用户数据传输到中央服务器。 ASR实用采用实践采用面临的主要挑战是在客户身上获得地面真相标签。现有的方法依靠客户手动抄录演讲，这对于获得大型培训语料库是不切实际的。一个有希望的替代方法是使用半/自制的学习方法来利用未标记的用户数据。为此，我们提出了Fednst，这是一种使用私人和未标记的用户数据训练分布式ASR模型的新颖方法。我们探索Fednst的各个方面，例如具有不同比例的标记和未标记数据的培训模型，并评估1173个模拟客户端的建议方法。在LibrisPeech上评估Fednst，其中960个小时的语音数据被平均分为服务器（标签）和客户端（未标记）数据，显示了仅对服务器数据训练的监督基线，相对单词错误率降低}（WERR）22.5％。
translated by 谷歌翻译
深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。
translated by 谷歌翻译
由于ML算法已经证明了它们在许多不同的应用程序中的成功，因此对保留隐私（PP）ML方法的兴趣也很大，用于构建敏感数据的模型。此外，这些算法所需的数据源数量和高计算能力的增加迫使个人将ML模型的培训和/或推断为提供此类服务的云。为了解决这个问题，我们提出了一个安全的三方计算框架塞西莉亚（Cecilia），提供PP构建块以私下启用复杂操作。除了加法和乘法等适应性和常见的操作外，它还提供了多路复用器，最重要的位和模量转换。在方法论方面，前两个是新颖的，就功能和方法论而言，最后一个是新颖的。塞西莉亚（Cecilia）也有两种复杂的新颖方法，这是公共基础的确切指数，该公共基础升高到秘密价值的力量和秘密革兰氏矩阵的反平方根。我们使用塞西莉亚（Cecilia）实现对预先训练的RKN的私人推断，比大多数其他DNN相比，对蛋白质的结构分类需要更复杂的操作，这是有史以来第一个在RKN上完成PP推断的研究。除了成功的基本构建块的私人计算外，结果还表明，我们执行了确切的私有指数计算，该计算是通过迄今为止文献中的近似来完成的。此外，他们还表明，我们将秘密革兰氏矩阵的确切逆平方根计算到一定的隐私级别，而文献中根本没有解决。我们还分析了Cecilia对合成数据集上各种设置的可伸缩性。该框架表现出一个巨大的希望，可以制作其他ML算法，并通过框架的构建块进行私人计算的进一步计算。
translated by 谷歌翻译
定量金融中经典问题的许多现代计算方法被提出为经验损失最小化（ERM），从而可以直接应用统计机器学习的经典结果。这些方法旨在直接构建对冲或投资决策的最佳反馈表示，在此框架中分析了它们的有效性以及它们对概括错误的敏感性。使用古典技术表明，过度训练的渲染仪训练有素的投资决策成为预期，并证明了大型假设空间的过度学习。另一方面，基于Rademacher复杂性的非反应估计显示了足够大的训练集的收敛性。这些结果强调了合成数据生成的重要性以及复杂模型对市场数据的适当校准。一个数值研究的风格化示例说明了这些可能性，包括问题维度在过度学习程度上的重要性以及该方法的有效性。
translated by 谷歌翻译